多传感融合“分歧”？特斯拉「去雷达」宣告新旧时代的更替

多传感融合一直以来被视为ADAS以及自动驾驶行业实现安全冗余的关键手段。不过，随着特斯拉“弃用”毫米波雷达，行业内关于感知组合的未来走向，又生疑虑。

一种声音是，基于摄像头的感知，由于硬件的瓶颈，光线、天气或物体被遮挡的情况会影响机器视觉的性能。这意味着多样化和冗余的传感器，如毫米波雷达，能够互为补充。

另一种声音则认为，多传感器融合意味着开发成本和复杂度的增加，且不同类型传感器的性能差异会导致融合置信度很难把控，最终仲裁难度极高。

“当雷达和视觉不一致时，你相信哪一个？视觉要精确得多，所以在视觉上加倍投入比传感器融合要好得多。”这是特斯拉CEO马斯克的一篇推文。

特斯拉人工智能主管Andrej Karpathy也表示，基于视觉的方法更优越，因为可以更好地“扩展”。“它可以在各种各样的环境中工作，而不仅仅是那些已经被彻底规划好的环境。”

那么，特斯拉的选择，是基于什么样的行业现状？到底是逆势而为还是眼下的无奈之举？要知道，特斯拉曾在几年前挖角德尔福并成立了自己的雷达研发团队，但最后不了了之。

一、

毫米波雷达并不是个新鲜事物，早在上世纪60年代，美国就开始在车载领域应用毫米波雷达，但当时的工艺水平较低，应用的是单天线，前端只能一收一发，其频率只有10GHz。

到了1992年，美国交通部门在公交车上安装了1500套毫米波雷达，到1993年取得了立竿见影的效果，让交通事故发生率下降了25%。

1999年，在梅赛德斯 S 级（W220 系列）上，戴姆勒首次推出基于大陆集团毫米波雷达的自适应巡航控制系统。此后，毫米波雷达解决方案就牢固地确立了自己的地位。

如今，毫米波雷达体积更加紧凑，功能更强大且价格更低，同时还有全天候感知的优势。不过，也有其技术的局限性，比如无法点云成像，精度低，没有精确的垂直分辨率。

不过，由于ADAS功能的不断迭代，感知方案仅仅是单一的视觉或者单一的毫米波雷达都无法实现精准的感知。摄像头+豪米波雷达的融合方案开始成为主角。

按照高工智能汽车研究院的监测数据显示，2020年国内新车（合资+自主品牌）上险搭载摄像头+雷达前向融合方案的占比超过70%。

单从技术角度来看，当前大多数传感器融合应用是对象数据，而不是原始数据。而在很多量产车上，摄像头和雷达甚至都没有进行目标级融合。

比如，大多数分布式系统，将各独立传感器获取的原始数据进行局部处理，然后将处理结果发送到数据融合中心进行智能优化组合，得到最终结果。

这种方案对通信带宽的分布式需求低，计算速度快，可靠性和连续性好，但跟踪精度远不够。

随着近年来域控制器架构的出现，将采集到的原始数据直接传输到中央处理器进行融合处理，可以实现实时集成。

这意味着数据处理精度高，算法灵活，缺点是对处理器要求高，可靠性低，数据量大。同时，由于毫米波雷达无法提供类似摄像头的高分辨率数据，更关键的是大部分车企也拿不到雷达的原始数据。

为此，特斯拉此前通过自主开发新的雷达算法（在原有供应商提供的硬件基础上，增加自己的软件），从而获取一定程度的粗糙点云，增强对特殊障碍物的识别能力。

为了做到这一点，特斯拉必须经常调整软件，以确认哪种算法是有效的。这需要基于特斯拉不断采集的道路数据以及后台的训练。

这也是为什么去年10月份，马斯克公开表态Autopilot的幽灵刹车问题已经解决；而最近，马斯克又重申，通过新的软件版本升级可以解决幽灵刹车问题。原因是，问题仍然存在，特斯拉仍在寻求更好的解决方案。

比如，Autopilot的主动巡航控制，车主手册注明这是一项测试功能，使用前视摄像头和雷达传感器确定同车道前方是否有车辆。采用主动巡航控制时，仍需观察前方路况并在必要时手动施加制动。

而此前出现的一系列与前方静止车辆的碰撞事故，实际上在车主手册中，特斯拉也已经早就注明一系列限制条件来撇清自己的问题。

比如，主动巡航控制无法探测到全部障碍物，尤其在车速高于80km/h的情况下；如果车辆或障碍物仅部分处于行驶车道中，或前车驶出您所在的车道后，车辆前方出现一辆静止或行驶缓慢的车辆或障碍物， 则主动巡航控制可能不会实施制动/减速。

因为多传感器的使用使得需要处理的信息量增加，甚至相互矛盾的信息，如何保证系统快速处理数据，过滤无用的、虚假信息，确保系统终于做出及时、正确的决定是至关重要的。

目前，行业内还无法完全做到基于深度神经网络的系统100%检测到全部障碍物，包括移动和静止以及高度信息。相机看不到深度，对光线和天气敏感度高；距离传感器，如雷达，分辨率低；激光雷达，还太贵。

此外，Aptiv公司首席技术官格伦•德沃斯(Glen de Vos)表示，在直接测量速度方面，摄像头永远不会像雷达那么好，尤其是自动紧急制动和自适应巡航控制等功能。

二、

目前原始数据融合还存在不少问题，所以许多OEM制造商和解决方案商将重点放在了后期的目标级对象融合上。但消极的一面多于积极的一面。合并对象数据而不是原始数据仍然暴露了系统对单个传感器的弱点。

比如，被动视觉传感器看到一个停车标志，但由于贴在标志上的贴纸，它把这个标志误认为限速标志。激光雷达数据显示，该标志是六边形的，这意味着它是一个停车标志，而不是限速标志。

然后，您将有两个数据流表示相互冲突的观点，并且需要第三个数据流来打破僵局或决定信任其中一个传感器。除了在系统中传播传感器缺陷外，后期融合还需要很长时间来做出决策。一些开发人员认为所有这些问题都可以通过早期的原始数据融合来解决。

一些公司表示，原始数据融合将使他们能够在使用更少能源（和计算）的情况下，以更高的分辨率探测环境。当来自不同传感器的所有原始数据在处理之前被混合在一起时，深度神经网络(DNN)可以创建一个更完整的环境图像。

但原始数据融合非常复杂。

此前，一家名为VAYAVISION的以色列公司提出了自己的解决方案，对距离传感器进行稀疏采样，并将距离信息分配给高分辨率相机图像中的每个像素。

这使得自动驾驶汽车能够接收到关于物体大小和形状的关键信息，能够将道路上的每一个小障碍物分开，并准确地定义道路上的车辆、人和其他物体的形状。

“VAYADrive2.0架构为汽车厂商提供了一个可行的选择，以替代市场上常见的目标级对象融合模型的不足。”VAYAVISION联合创始人认为，“这对提高检测精度、降低从L1-L3升级过程中的高误报率至关重要。”

这家公司也是英伟达生态体系中的一员。对此，英伟达也给出了自己的解决方案：采用深度神经网络（DNN）来训练雷达检测运动和静止的物体，并利用雷达传感器的数据准确区分不同类型的静止障碍物。

训练DNN首先需要克服雷达数据稀疏性问题。由于雷达反射可能相当稀疏，人类实际上不可能仅凭雷达数据来视觉识别和标记车辆。

方法之一就是利用激光雷达的真值训练系统，通过将相应的激光雷达数据集的标签来创建真实数据模型，通过这个过程，基于DNN的毫米波雷达不仅可以学习检测车辆，还可以学习检测车辆的三维形状、尺寸和方向。

有了这些额外的训练模型，毫米波雷达的DNN算法能够区分不同类型的障碍物——即使它们是静止的，同时增加真阳性检测的可信度，并减少假阳性。

当然，原始数据融合还受限于传感器的性能。以传统的毫米波雷达+视觉融合为例，由于传统雷达分辨率低，很难与摄像头实现像素级的原始数据融合，一般只能做目标级融合。

三、

如今，毫米波雷达的性能瓶颈突破已经到来。

随着去年大陆集团宣布2021年量产首个4D成像雷达解决方案，包括采埃孚、安波福、傲酷、华为等企业也陆续发布自己的4D雷达。

4D成像雷达继承了传统毫米波雷达的优点，比如在任何天气和环境条件下都能正常工作，包括雪雾、大雨等恶劣天气。

性能提升主要体现在，不仅可以检测到物体的距离、相对速度和方位角，还可以检测到前方物体的垂直高度以及前方静止和横向移动物体。

此外，高密度点云数据的输出，意味着感知算法可以识别并对前方物体进行大致分类，提供更准确的检测和跟踪。

4D成像雷达可以在低成本要求下（目前，1R+2R，1R+4R的配置已经是主流趋势，相比传统雷达，成本增加相对可控），更好的帮助L2+/L3自动驾驶系统实现感知冗余以及与摄像头的融合感知。

此外，由于没有增加新的传感器，4D成像雷达可以更快速针对现有的感知算法、模型进行调整，减少研发工作，并可以加快新车型的上市时间。

雷达芯片厂商也在发力。

恩智浦今年推出新一代方案（TEF82xx+S32R294/S32R45），其中，TEF82xx可以多颗极联，采用16nm FinFET和40nm RFCMOS技术，将于今年开始批量生产。

考虑到4D雷达对算力的要求，S32R294采用了恩智浦的z系列处理器内核，实时Z4内核同步运行，而双Z7处理器用于处理应用程序，整体性能是此前S32R274 SoC的两倍。

而S32R45则标志着恩智浦向Arm平台的迁移，SoC具有多个同步运行的Cortex- M7以及一对Cortex-A53应用内核，也支持锁步机制，可以支持处理特征检测和分类（识别不同类型的对象，如人、车和动物）。

加上4D成像对于物体识别和分类的高要求，恩智浦也推出了一款车规级的AI工具包，除了应用于传统的视觉领域，4D成像雷达也将使用神经网络根据其点云图像对道路使用者及障碍物进行分类。

按照傲酷公司的介绍，4D成像雷达可同时实现距离、方位、高度以及速度四个维度的信息感知，可以有效地解析目标的轮廓、类别等等，并具备横纵向高角分辨率，可以完美弥补传统毫米波雷达的短板。

通过将4D成像雷达与高清摄像头实现点云级前融合处理，可同时对各种移动和静止的大小车辆、自行车、行人以及其他目标进行分类和追踪，实时提供目标的位置、速度、3D尺寸、航向等多维度信息。

最重要的是，雷达点云的每一点都有一维速度值，在当幀（摄像头）里直接实时给出该点物体的移动速度。对周边动态障碍物如车辆行人反应极为灵敏，这点对无人驾驶特别关键。而激光雷达则需要运算两幀或多幀所有的点后，间接算出速度，时延大并容易出错。 

在与视觉原始数据融合方面，4D点云毫米波雷达具备天然优势，每秒可以产生几万立体点云。这样摄像头可以像和激光点云融合一样，和毫米波点云原始数据融合。

摄像头+点云毫米波就可以对周边复杂环境可以3D实时建模，对行人车辆的距离和速度进行精确监测。摄像头在大雨、黑天、逆光下的性能下降，也可以被点云毫米波补上。

这种原始数据级的融合，可以大大提高目标检测的置信度、降低误检率和漏检率。这样摄像头+点云毫米波就可以成为L3/L4功能下的性能优越、价格合理的传感器组合。

比如，在华为公司看来，他们有自主研发的毫米波雷达，就可以获得雷达最原始的点云数据，同时进行图像数据与雷达点云数据的前融合，这意味着融合置信度可以得到大幅提升。

四、

不过，一些行业人士表示，考虑到越来越复杂的自动辅助驾驶系统以及高级别自动驾驶的市场需求，增加更多的传感器已经成为无法避开的路线选择。

但，随之而来的，就是增加的成本和多传感器融合带来的潜在开发复杂性和工程验证的难度。

实际上从去年开始，1V方案得益于摄像头硬件性能（包括像素、视场角）以及数据驱动深度学习能力的提升，正在依靠成本优势以及减少融合感知带来的置信度难题，成为入门级L2辅助驾驶普及的主流选择。

而在面向高阶自动驾驶层面，在Mobileye看来，基于摄像头的纯视觉感知与雷达+激光雷达融合感知两套方案应该并行，才是真正的冗余。

在Mobileye看来，摄像头是自动驾驶的主干，而雷达+激光雷达子系统则增加了安全冗余，并显著提高平均故障间隔时间（MTBF，也就是系统的可靠性指标）。

目前的行业现状是，博世、大陆等公司提供的传统毫米波雷达基本上是“软、硬集成”的解决方案，对于大部分主机厂和Tier1（采用第三方雷达产品）来说，通常无法解绑底层算法。

这些“软硬集成”的解决方案只是一个黑盒子，即毫米波雷达只提供感知结果（也就是通常所说的目标级融合）。至于算法是如何编写的，算法的底层逻辑是什么，主机厂完全不清楚。

这意味着，包括特斯拉在内采取摄像头+雷达融合策略的主机厂，在事故发生后很难独立发现问题并进行修复，也无法更好的推进ADAS算法的迭代。

采用纯视觉路线，还有一个很关键的要素，来自于数据闭环驱动应用。这背后，需要的是企业能够实现全栈自研能力，尤其是软件以及核心的定制芯片。

理论上，目前搭载摄像头、毫米波雷达的L1、L2自动辅助驾驶系统已经收集了大量的数据，但实际上这些数据大部分都没有采集并进入后台数据库进行训练。

真正具备能力并且已经大规模实现的，仅有特斯拉、小鹏汽车、Mobileye等少数几家公司。比如，特斯拉的影子模式，Mobileye的REM高精度地图众包项目，使用车载摄像头收集的数据来更新。

不过，在Mobileye公司看来，基于计算机视觉技术的成熟度，已经具备了辅助驾驶的能力，但如果自动驾驶要完全接管人类驾驶员的控制，还是需要多种类型的传感器并行工作。

但Mobileye并没有选择市面上现有的传感器，而是采取了自研模式，原因是该公司认为，量产的成熟产品仍有很多不足之处。同时，该公司提出了一个全新的概念：并行感知系统。

原因是，摄像头是属于被动感知，毫米波雷达和激光雷达则是通过主动发射信号来探测感知物体，这是完全不同的两大类传感技术。

之所以不采取摄像头与雷达或者激光雷达的融合策略，是因为这两种感知技术并没有在性能成熟度上达到接近的水平，甚至有可能牵制了视觉技术的性能发挥。

在下一代传感器上，Mobileye选择了软件定义数字成像雷达和基于硅光子学的FMCW激光雷达。其中，前者目前已经有厂商投入量产，但只解决了信号增强（点云），还没有解决如何有效应用的问题。

比如，在点云密度增加的情况下，4D成像雷达如何增加检测的成功概率，减少回声的噪音，并实现远处信号反射较弱物体的检测，并且还需要解决多信号的干扰问题。

此外，和早期自主研发视觉处理芯片类似，Mobileye认为，仅仅是利于FPGA或者通用SoC还不足以高效处理点云。“软件定义必须支持更大的灵活性，这需要复杂、专有的算法以及专用的SoC，从而提升数据处理能力。”

同时，4D雷达输出点云信息，意味着，传统的计算机视觉技术可以进行快速平移，进而解决物体识别和分类的问题，这是最为关键的一步。

有趣的是，就在马斯克宣布“弃用”雷达之后，4D成像雷达公司——Arbe发布了一篇官网推文，“感谢特斯拉，让传统雷达停止工作。它们缺乏自动驾驶所需的分辨率、虚报灵敏度和静止目标检测能力。”

该公司@特斯拉，“高分辨率4D成像雷达可以弥补相机缺乏深度感知，不依赖外部环境，在所有天气和光照条件下正常工作，并实现冗余。我们很想和你们聊聊。”

此前，马斯克曾发推文表示，“视觉比雷达更精确，所以与其将传感器组合在一起，不如加大视觉的力度。雷达需要更好，才值得集成。”

“如果连雷达和摄像头都不能让系统完全自动驾驶，那么去掉雷达又如何让系统完全自动驾驶？”傲酷首席执行官Steven Hong表示，如果有一天特斯拉重新启用雷达，他不会感到惊讶。